ABSTRACT
This research study aimed at evaluating the content related to pediatric dentistry addressed in civil service examinations in the state of Paraíba through the analysis and classification of questions. Questions related to pediatric dentistry addressed in civil service examinations for the dentist position in the Family Health Program, held in the state of Paraíba, between the years 2001 and 2017 were evaluated. Across the state, 107 civil service examinations were identified and, when applying the exclusion criteria, 9 identical tests were found, consequently, being removed, totaling 98 examinations. After the analysis, 3,949 questions were obtained and only 54 questions were related to pediatric dentistry, representing 1.36% of total questions. The questions were classified according to the topic and the cognitive level according to the BLOOM's revised taxonomy. Results showed that topics related to oral rehabilitation and surgical management, including questions regarding anesthesia, surgery, pulp therapy, endodontic treatment, operative and restorative dentistry, dental materials, traumatic injuries and prosthesis/rehabilitation corresponded to 42% of the questions. The most prevalent cognitive domains were recall and analyze, corresponding to 45% and 29%, respectively. Thus, questions concerning oral rehabilitation and surgical management were the most addressed in civil service examinations, in which the domains remember and analyze were predominant. There were no questions requiring complex cognitive domain such as assessing and creating.
Esse trabalho teve como objetivo verificar o conteúdo de Odontopediatria abordado em concursos públicos da Paraíba através da análise e classificação de questões. Foram extraídas questões que versavam sobre os assuntos da área de Odontopediatria de certames disponíveis realizados e encerrados, de todas as cidades do estado da Paraíba para o cargo de cirurgião-dentista do Programa Saúde da Família entre os anos de 2001 e 2017. De todo o estado foram coletados 107 certames e ao aplicar os critérios de exclusão, foram removidas 9 provas idênticas, totalizando 98. Após análise destas, obteve-se 3949 questões e dessas apenas 54; 1,36% do total, versavam sobre Odontopediatria. As questões foram classificadas de acordo com o tópico genérico de que se tratavam e o nível cognitivo que exigiam de acordo com a Taxonomia Revisada de BLOOM. Os resultados mostraram que o tópico referente à reabilitação bucal e manejo cirúrgico, foi o de maior prevalência correspondendo a 42% das questões e as dimensões cognitivas mais prevalentes foram lembrar e analisar que corresponderam a 45% e 29%, respectivamente. Foi possível concluir que questões referentes à reabilitação bucal e manejo cirúrgico foram as mais abordadas em concursos públicos no contexto da Odontopediatria e que as dimensões lembrar e analisar foram as de maior prevalência. Não houve ocorrência de questões que exigiam dimensões cognitivas mais complexas, como avaliar e criar.
Subject(s)
Humans , Personnel Selection/methods , Pediatric Dentistry , Dental Care for Children , National Health Strategies , Dentists , Brazil , Retrospective Studies , Oral Surgical Procedures , Mouth RehabilitationABSTRACT
RESUMO As questões objetivas ou testes de múltipla escolha com somente uma alternativa correta constituem um dos métodos mais utilizados em todo o mundo em exames destinados a avaliar habilidades cognitivas, especialmente nas avaliações somativas. Provas que contêm predominantemente questões objetivas de múltipla escolha são utilizadas sobretudo nos exames em que muita coisa está em jogo, como concursos vestibulares, provas finais de cursos de graduação e exames próprios dos concursos de ingresso à residência médica ou de obtenção de título de especialista. Esta ampla difusão justifica-se pelo fato de os exames compostos com este tipo de questão preencherem mais completamente os requisitos de validade e de fidedignidade, além de terem vantagens quanto à viabilidade ou factibilidade, particularmente em provas com grande número de candidatos. No entanto, os requisitos de validade e fidedignidade, em especial, somente são preenchidos adequadamente quando se seguem normas próprias das boas práticas de construção de exames e de elaboração dos testes propriamente ditos. Neste artigo se descrevem algumas das boas práticas na elaboração de testes de múltipla escolha, baseadas em fontes da literatura nacional e internacional, bem como na experiência dos autores. Apresenta-se e se discute um conjunto de regras práticas para construir questões de múltipla escolha de boa qualidade no que se refere à forma e ao conteúdo e se comenta como compor tabelas de especificação. Este tipo particular de matriz da avaliação permite verificar o alinhamento entre os temas abordados na prova e os objetivos curriculares ou o que se espera que os estudantes/candidatos dominem, o que configura um importante indicador de validade. Apresenta-se também uma experiência bem-sucedida de trabalho em grupo na organização de exames que utilizam este tipo de questão, como exemplo de desenvolvimento de processo organizado para obtenção de questões de melhor qualidade, que também contribuiu para o desenvolvimento docente no campo de avaliação da aprendizagem.
ABSTRACT Objective items or multiple choice questions with just one correct answer are among the most widely used methods for cognitive skills assessment, especially in exams designed for summative purposes. Assessments related to the cognitive domain using multiple choice questions are mostly used in high-stake exams, i.e. where the risks of failing are associated with serious consequences for the candidates. The widespread use of objective items for assessing learning in the cognitive domain may be explained by the fact that this exam modality fulfills both validity and reliability requirements, with the additional advantage that they are practical for use in exams with large numbers of candidates. Nevertheless, the validity and reliability requirements, in particular, will only be properly fulfilled when the process of writing multiple choice questions follows the rules of good practices for constructing exams and writing tests. This manuscript describes some of the rules for developing high quality multiple choice tests, based on both national and international published sources, as well as on the author's experience. These rules relate to the content, language and presentation of the questions. This paper also addresses the importance of following appropriate rules for blueprinting construction, in order to show the alignment between assessment and curriculum and thereby contribute to meeting the validity requirements. It also briefly describes and discusses a successful experience of team work for constructing items and organizing exams. This experience exemplifies the combination of an organized process for constructing high quality questions for a well-balanced examination with an institutional strategy for faculty development in the field of learning assessment.
ABSTRACT
ABSTRACT Introduction: Residency admission exams, although not intended to evaluate medical training, do so in an indirect way. The evaluation of the quality of the medical residency tests allows, among other things, to re-evaluate the training process itself and the skills expected of the candidates. Objective: To evaluate first phase exam tests of different medical residency programs in the largest Brazilian urban centers. Method: We evaluated 500 questions of residency admission exams in the states of São Paulo, Rio de Janeiro and Minas Gerais. The items were evaluated in terms of their origin, geographical location, area of knowledge, contextualization, context scenarios and complexity by Bloom's taxonomy. Results: Most of the questions presented contextualization (64.4%, n = 322), with predominant scenarios of high complexity and in hospital environment. The predominant taxonomic category was identified as recognition (41.60%, n = 208), the second most frequent was judgment, in 26% of the questions (n = 130), followed by synthesis (15%, n = 75), analysis (7.60%, n = 38), comprehension (6%, n = 30) and application (3.8%, n = 19). Considering the dichotomization between questions of theoretical and clinical reasoning, we found a balance between both (clinical reasoning: 48.9%, n = 243; theoretical reasoning: 51.4%, n = 257). The association of contextualization with clinical reasoning was high, with the relative risk of an item requiring clinical reasoning in the presence of contextualization of 26.31 (CI 11.06 - 62.59). Final considerations: The scenario outlined by the present research demonstrates that the different selective processes for medical residency in Brazil differ greatly in relation to the selection profile, with hospital-centered focus, favoring scenarios of high complexity in a hospital environment. Although much has been done and discussed in order to promote changes in medical education in Brazil, the selection process for Medical Residency still fails to reflect the changes advocated since the end of the last century and consolidated in the public policies of the beginning of this century. If we consider that the selected professionals are likely to remain at that institution after the end of their undergraduate studies, then we can have some understanding of the feedback cycle that is created in the programs.
RESUMO Introdução: A prova de residência, apesar de não ter o objetivo de avaliar a formação médica, o faz indiretamente. A avaliação da qualidade das provas de residência médica permite, entre outras coisas, reavaliar o próprio processo de formação e as competências esperadas para os profissionais. Objetivo: Avaliar provas de primeira fase de diferentes programas de residência médica dos maiores centros urbanos brasileiros. Método: Foram avaliadas 500 questões de provas de residência dos estados de São Paulo, Rio de Janeiro e Minas Gerais. As questões foram avaliadas considerando sua origem, localização geográfica, área de conhecimento, contextualização, cenários do contexto e complexidade pela taxonomía de Bloom. Resultados: A maioria das questões apresentava contextualização (64,4%, n = 322), sendo os cenários predominantes de alta complexidade e em ambiente hospitalar. Identificou-se que a categoria taxonômica predominante foi o reconhecimento (41,60%, n = 208), sendo a segunda categoria mais frequente o julgamento em 26% das questões (n = 130), seguidas de síntese (15%, n = 75), análise (7,60%, n = 38), compreensão (6%, n = 30) e aplicação (3,8%, n = 19). Considerando a dicotomização entre questões de raciocínio teórico e clínico, encontramos uma situação de equilíbrio entre ambas (raciocínio clínico: 48,9%, n = 243; raciocínio teórico: 51,4%, n = 257). A associação de contextualização com raciocínio clínico foi alta, com risco relativo de uma questão solicitar raciocínio clínico na presença de contextualização de 26,31 (IC 11,06 - 62,59). Considerações finais: O quadro delineado pela presente pesquisa demonstra que os diferentes processos seletivos para residência médica no Brasil diferem muito entre si quanto ao perfil de seleção, com provas de caráter hospitalocêntrico, privilegiando cenários de alta complexidade em ambiente hospitalar. Embora muito se tenha feito e falado no sentido de promover mudanças na educação médica do Brasil, o processo seletivo para residência médica ainda não reflete as mudanças preconizadas desde o fim do século passado e consolidadas nas políticas públicas do início deste século. Se pensarmos que estamos selecionando profissionais que muito provavelmente se fixarão naquela instituição após o fim de sua pós-graduação, podemos ter uma ideia do círculo de retroalimentação que se cria nos programas.